Ông được bầu vào Chúng Nghị viện lần đầu tiên vào năm 1990. Sau khi mất ghế vào năm 1996, ông đã tranh cử vào Chúng Nghị viện năm 2000 nhưng không thành công. Năm 2001, lần đầu tiên ông được bầu vào Tham Nghị viện. Ông trở thành Lãnh đạo của Đảng Công minh mới vào ngày 8 tháng 9 năm 2009 sau khi đảng chịu thất bại nặng nề trong cuộc Tổng tuyển cử năm 2009. Đảng mất 10 ghế, trong đó có ghế của Lãnh đạo đảng Ōta Akihiro và Tổng thư ký Kitagawa Kazuo. Vào ngày 8 tháng 9 năm 2009, Yamaguchi thay thế Ōta làm Chủ tịch của Đảng Công minh mới.[1]

Nhiệm kỳ lãnh đạo đảng của Yamaguchi kết thúc vào tháng 9 năm 2012 và ông được bổ nhiệm lại mà không được ứng cử thêm hai năm nữa vào ngày 22 tháng 9 năm 2012. Không cần bỏ phiếu vì ông là ứng cử viên duy nhất.[2] Ông tiếp tục lãnh đạo đảng cho đến hiện tại.

Yamaguchi đã đứng ra ủng hộ Hệ thống Họ có chọn lọc cho các cặp vợ chồng,[3] cũng như quyền bầu cử cho những người nước ngoài thường trú.[4]